Puffin-World：用原生 3D 世界状态扩展统一多模态模型
🧭 多模态世界模型 · 3D 生成重建
S-Lab, Nanyang Technological University · University of Michigan · Beijing Jiaotong University · ACE Robotics
统一多模态架构，联合物理/几何/外观三态与 Omni-Camera 实现 3D 世界生成重建
📌 工作参考价值（4 点）
- 可借鉴「原生状态联合建模」：在商品理解/生成中，将视觉、深度/几何、物理属性（如材质、尺寸、重力约束）作为并行状态统一建模，替代只用图文 embedding，可提升家居、鞋服等品类空间一致性。
- 用显式 Omni-Camera 参数控制多视角生成：商品视频、虚拟试穿、3D 展示素材可 ground 绝对相机内外参，生成物理稳定、多角度一致内容，减少后期抖动与畸变。
- 外观-几何耦合生成：同时输出 RGB 和 depth 再用于重建，适合商品 3D 重建/AR 展示/虚拟棚拍，能对齐纹理与几何，降低“贴图漂移”。
- 闭环自校准探索思路可迁移到 Agent 拍摄/漫游：让模型根据当前状态规划下一视角并在线修正相机与场景参数，但需构建匹配业务场景的轨迹数据。
SCULPT：3D 部件生成的减法组合框架
🧭 3D 生成 · 部件分解与组合
Shanghai Jiao Tong University · Huawei
提出 SCULPT，在结构化 3D 隐空间内通过联合分割预测器迭代提取部件，实现部件级生成与整体重建的协同优化
📌 工作参考价值（4 点）
- 借鉴“联合预测 + 耦合去噪”思路：在商品属性/标题/描述等多粒度生成任务中，避免先整体后拆分或先部件后拼接，而是让部分与整体在生成过程中互相条件化，减少不一致。
- 借鉴“稀疏支持重叠而非强制划分”：在结构化表示（如商品品类树、标签体系）中，允许节点/标签表示存在重叠，避免硬聚类带来的边界噪声；类似 RAG 中的 chunk 也可以重叠。
- 借鉴“迭代减法 + 自适应停止条件”：在生成多模块内容（如 banner 多区块文案、推荐理由多段生成）时，从完整草稿开始逐步剥离生成子模块，并设置安全上限，让模块数量自适应输入。
- 注意：本文是 3D 生成领域，业务直接迁移有限，主要价值在于生成式框架的设计思想。
WorldClaw：大规模智能体三维开放世界生成
🧭 Agent 驱动的 3D 开放世界生成
Tencent Hunyuan
利用规划代理和渲染代理从文本生成全局一致、可编辑的大规模 3D 开放世界，实现粗到细的生成
📌 工作参考价值（4 点）
- 借鉴其“意图分析-全局规划-区域细化”的分层 Agent 架构，在设计搜索/推荐助手 Agent 时，对复杂用户需求进行结构化分解与分步执行。
- 利用渲染反馈循环（render-based agents）进行自改进的思路，可用于电商推荐文案/图片生成的自我优化，通过生成后的评测反馈迭代提升质量。
- 将生成过程建模为可编辑资产（可复用、可调整）的理念，可以迁移到推荐解释生成或广告素材生成，确保生成的元素可独立调整和组合。
- 虽然主要是3D生成，但其coarse-to-fine流程可启发推荐系统中的多阶段生成（如先规划品类再细分子项）。
PhysX-Omni：统一生成可仿真的刚体/变形体/关节体3D资产
🧭 3D生成 · 物理仿真 · 多模态学习
S-Lab, Nanyang Technological University · ACE Robotics
提出统一框架与数据集，实现跨类别仿真就绪3D生成，并构建含六维度评估的基准
📌 工作参考价值（4 点）
- 几何表示trick：论文提出的高分辨率几何直接编码方法，避免压缩损失，可借鉴到电商3D商品重建中，提升细节保真度（如服饰纹理、家具结构）。
- 数据集构建思路：PhysXVerse覆盖多种物理属性，电商可类似构建带材质、可变形参数的商品3D数据集，支撑VR试穿、物理交互模拟。
- 评估维度扩展：PhysX-Bench引入尺度、材质、可供性等六维度评估，生成式商品3D模型也可引入类似benchmark，避免只看几何相似度。
- 多类别统一框架：统一处理刚体、变形体、关节体的生成流水线，可启发我们将不同商品类型（硬质电子、软体衣物、可动家具）纳入同一生成系统，降低维护成本。
Code-as-Room：基于 Agent 代码合成从俯视图生成 3D 房间
🧭 MLLM Agent 生成 3D 场景
Shanghai Artificial Intelligence Laboratory · Shanghai Innovation Institute · Southern University of Science and Technology · University of Warwick
提出一个 MLLM Agent 框架，通过结构化执行流水线从俯视图生成 Blender 代码来构建 3D 房间
📌 工作参考价值（3 点）
- 多阶段流水线 + 跨阶段记忆模块：将复杂生成任务拆解为解析、几何、材质、灯光等子阶段，并用记忆模块保持上下文一致，可借鉴到电商场景中自动生成商品布局或店铺装修，避免长流程遗忘。
- 代码作为可执行中间表示：用 Blender Python 脚本表示 3D 场景，具备可编辑性和确定性，类似思路可用于生成式推荐中，用代码描述推荐理由或布局，便于二次编辑与调试。
- 结构化执行 harness：为 Agent 设定明确的阶段输出 schema 和校验步骤，有效减少无限循环，可迁移到 Agent 业务系统中，提升稳定性与可控性。
Articraft：可扩展的铰接式 3D 智能体生成系统
🧭 Multimodal ★ 深度解读
University of Cambridge · University of Oxford · Nanyang Technological University
将铰接式 3D 资产生成转化为代码编写任务，搭配专用 SDK 与迭代 harness，无需视觉反馈即可规模化产出高质量资产
Realiz3D：通过域感知学习实现照片级真实3D生成
🧭 解耦域与控制，缩小合成到真实域差距
解耦控制信号与视觉域，引入域协变量适配器，在保持真实感的同时实现3D可控生成
📌 工作参考价值（4 点）
- 商品图生成中，使用合成3D数据微调扩散模型时，可通过解耦控制信号（如视角、材质）与域指示符，避免生成图像变得“像渲染图”，保持照片级真实感。
- 引入可学习的残差适配器来编码域信息，是一种轻量多域融合方案，电商场景下可复用：一个基座模型，通过切换适配器生成不同风格（写实、插画、3D渲染等）。
- 针对扩散模型不同层和去噪步骤的分析启示：早期步骤负责全局结构，后期步骤聚焦纹理细节，可将几何控制注入深层，材质控制注入浅层，从而在不牺牲真实性的前提下提升可控性。
- 推理时可通过调整域适配器的权重，平滑插值于合成与真实域之间，实现可控的风格迁移，用于商品背景替换或虚拟试穿场景。